Documentation of s2u data from ARDJ
Kow Kuroda (Medical School, Kyorin University, Japan)
2019-02-26, 02-28, 03-01, 03-02, 03-04; 2020-02-29
0.1 Version history
First version was released on March 4, 2019.
0.2 Disclaimer
Details of the released data may be changed in future without notice.
1 Introduction
This document describes a dataset called s2u generated from Survey 2 (phases 1 and 2 unified) for Acceptability Rating Data for Japanese (ARDJ) project (黒田 et al. 2016, 黒田 et al. (2017), Kuroda et al. (2018)). Throughout the document, s2u stands for this data.
ARDJ is a research project comprising 8 researchers: 1) Kow Kuroda (me), 2) Hikaru Yokono (Fujitsu Laboratories), 3) Keiga Abe (Shotoku University), 4) Tomoyuki Tsuchiya (Kyushuu University), 5) Yoshihiko Asao (NICT), 6) Toshiyuki Kanamaru (Kyoto University), 7) Yuuichiro Kobayashi (Nihon University) and 8) Takumi Tagawa (Tsukuba University) as proper members, and given technical assitance from external members 9) Shunji Awazu (Jissen Women’s University), 10) Asuka Terai (Future University at Hakodate) and 11) Minoru Yamaizumi (Osaka University). The project was funded by Japanese Soceiety for the Promotion of Science (JSPS) during 2016-2018 academic years under the Grant-in-Aid for Science.
Cite our paper (Kuroda et al. 2019) when you plan to publish work based this data, directly or indirectly.
1.1 Two Phases of Survey 2
s2u data is a unification of the responses that ARDJ project collected in Phase 1 and Phase 2 of Survey 2, conducted in 2019.
Project called ARDJ (for Acceptability Rating Data for Japanese) began in 2017 and is about to end in 2019.
1.1.1 Survey 2
Survey 2 was the main experiment of ARDJ. It was precedended by Survey 1 conducted in 2017, which was a pilot study in which 200 sentences were used for stimuli.
Survey 2 was conducted in 2017, and had two phases: Phase 1 and Phase 2. The former is a paper-based survey on a smaller scale, by raters with narrower ranges of social attributes. Basically, the raters were college students.
The latter is a web-based survey on a significantly larger scale, by raters with broader ranges of social attributes. Over 1,600 people from many places in Japan participated in this.
1.1.2 Survey 1
Data from Survey 1 is also freely available.
2 Oveview of Data
2.1 Data
s2u data is provided in .tsv.zip format. If you are running R, the way to access its content is the following:
Or if you want to read directly from a .tsv file, you could do the following:
tsv.file <- "data/s2u.grN.refined1b.placed.tsv"
data <- read.delim(tsv.file, as.is = T)
data$Q2 <- ordered(data$Q2, levels = c("M", "F", "U"))
data$Q3 <- ordered(data$Q3, levels = c("Y", "N", "U"))
data$Q5 <- ordered(data$Q5, levels = c("Y", "N", "U"))
data$Q9 <- ordered(data$Q9)
data$Q10 <- ordered(data$Q10, levels = c("3", "4-6", "7-10",
"11-12", "13-15", "16"))
data$Q11 <- ordered(data$Q11, levels = c("S2", "S1", "N",
"L1", "L2"))The data looks like the following:
head(data)## R.ID.ext R.ID Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9
## 1 r0001.0 r0001 52 F Y Tokyo;Kanagawa;Kumamoto;Kagoshima N 4 20 N 10
## 2 r0001.4 r0001 52 F Y Tokyo;Kanagawa;Kumamoto;Kagoshima N 4 20 N 10
## 3 r0001.9 r0001 52 F Y Tokyo;Kanagawa;Kumamoto;Kagoshima N 4 20 N 10
## 4 r0002.4 r0002 62 F Y Chiba;Tokyo N 2 6 N 1
## 5 r0003.6 r0003 55 F Y Saitama;Tokyo N 2 8 Y 1
## 6 r0003.8 r0003 55 F Y Saitama;Tokyo N 2 8 Y 1
## Q10 Q11 T.stamp conducted.place group ver mode phase
## 1 11-12 S1 2018/11/08;10:12:48;PM;GMT+9 <NA> gr0 <NA> A 2
## 2 11-12 S1 2018/11/08;10:07:19;PM;GMT+9 <NA> gr4 <NA> A 2
## 3 11-12 S1 2018/11/08;10:02:37;PM;GMT+9 <NA> gr9 <NA> A 2
## 4 4-6 L2 2018/11/08;10:04:18;PM;GMT+9 <NA> gr4 <NA> A 2
## 5 7-10 L2 2018/11/08;10:13:35;PM;GMT+9 <NA> gr6 <NA> A 2
## 6 7-10 L2 2018/11/08;10:17:31;PM;GMT+9 <NA> gr8 <NA> A 2
## s001 s002 s003 s004 s005 s006 s007 s008 s009 s010 s011 s012 s013 s014 s015
## 1 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA NA
## 2 NA NA NA 3 NA NA NA NA NA NA NA NA NA 2 NA
## 3 NA NA NA NA NA NA NA NA 1 NA NA NA NA NA NA
## 4 NA NA NA 1 NA NA NA NA NA NA NA NA NA 2 NA
## 5 NA NA NA NA NA 3 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 0 NA NA NA NA NA NA NA
## s016 s017 s018 s019 s020 s021 s022 s023 s024 s025 s026 s027 s028 s029 s030
## 1 NA NA NA NA 2 NA NA NA NA NA NA NA NA NA 0
## 2 NA NA NA NA NA NA NA NA 0 NA NA NA NA NA NA
## 3 NA NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA
## 4 NA NA NA NA NA NA NA NA 1 NA NA NA NA NA NA
## 5 3 NA NA NA NA NA NA NA NA NA 1 NA NA NA NA
## 6 NA NA 3 NA NA NA NA NA NA NA NA NA 3 NA NA
## s031 s032 s033 s034 s035 s036 s037 s038 s039 s040 s041 s042 s043 s044 s045
## 1 NA NA NA NA NA NA NA NA NA 1 NA NA NA NA NA
## 2 NA NA NA 0 NA NA NA NA NA NA NA NA NA 2 NA
## 3 NA NA NA NA NA NA NA NA 0 NA NA NA NA NA NA
## 4 NA NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA
## 5 NA NA NA NA NA 2 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 2 NA NA NA NA NA NA NA
## s046 s047 s048 s049 s050 s051 s052 s053 s054 s055 s056 s057 s058 s059 s060
## 1 NA NA NA NA 0 NA NA NA NA NA NA NA NA NA 0
## 2 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 3 NA NA NA 3 NA NA NA NA NA NA NA NA NA 3 NA
## 4 NA NA NA NA NA NA NA NA 2 NA NA NA NA NA NA
## 5 2 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA
## 6 NA NA 3 NA NA NA NA NA NA NA NA NA 0 NA NA
## s061 s062 s063 s064 s065 s066 s067 s068 s069 s070 s071 s072 s073 s074 s075
## 1 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA NA
## 2 NA NA NA 2 NA NA NA NA NA NA NA NA NA 2 NA
## 3 NA NA NA NA NA NA NA NA 1 NA NA NA NA NA NA
## 4 NA NA NA 3 NA NA NA NA NA NA NA NA NA 3 NA
## 5 NA NA NA NA NA 1 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 3 NA NA NA NA NA NA NA
## s076 s077 s078 s079 s080 s081 s082 s083 s084 s085 s086 s087 s088 s089 s090
## 1 NA NA NA NA 1 NA NA NA NA NA NA NA NA NA 0
## 2 NA NA NA NA NA NA NA NA 2 NA NA NA NA NA NA
## 3 NA NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA
## 4 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 5 1 NA NA NA NA NA NA NA NA NA 2 NA NA NA NA
## 6 NA NA 1 NA NA NA NA NA NA NA NA NA 2 NA NA
## s091 s092 s093 s094 s095 s096 s097 s098 s099 s100 s101 s102 s103 s104 s105
## 1 NA NA NA NA NA NA NA NA NA 0 NA NA NA NA NA
## 2 NA NA NA 2 NA NA NA NA NA NA NA NA NA 0 NA
## 3 NA NA NA NA NA NA NA NA 1 NA NA NA NA NA NA
## 4 NA NA NA 2 NA NA NA NA NA NA NA NA NA 1 NA
## 5 NA NA NA NA NA 1 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 3 NA NA NA NA NA NA NA
## s106 s107 s108 s109 s110 s111 s112 s113 s114 s115 s116 s117 s118 s119 s120
## 1 NA NA NA NA 3 NA NA NA NA NA NA NA NA NA 3
## 2 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 3 NA NA NA 0 NA NA NA NA NA NA NA NA NA 0 NA
## 4 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 5 3 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA
## 6 NA NA 3 NA NA NA NA NA NA NA NA NA 3 NA NA
## s121 s122 s123 s124 s125 s126 s127 s128 s129 s130 s131 s132 s133 s134 s135
## 1 NA NA NA NA NA NA NA NA NA 0 NA NA NA NA NA
## 2 NA NA NA 0 NA NA NA NA NA NA NA NA NA 2 NA
## 3 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 4 NA NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA
## 5 NA NA NA NA NA 3 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 0 NA NA NA NA NA NA NA
## s136 s137 s138 s139 s140 s141 s142 s143 s144 s145 s146 s147 s148 s149 s150
## 1 NA NA NA NA 1 NA NA NA NA NA NA NA NA NA 1
## 2 NA NA NA NA NA NA NA NA 0 NA NA NA NA NA NA
## 3 NA NA NA 0 NA NA NA NA NA NA NA NA NA 0 NA
## 4 NA NA NA NA NA NA NA NA 1 NA NA NA NA NA NA
## 5 1 NA NA NA NA NA NA NA NA NA 1 NA NA NA NA
## 6 NA NA 3 NA NA NA NA NA NA NA NA NA 2 NA NA
## s151 s152 s153 s154 s155 s156 s157 s158 s159 s160 s161 s162 s163 s164 s165
## 1 NA NA NA NA NA NA NA NA NA 2 NA NA NA NA NA
## 2 NA NA NA 2 NA NA NA NA NA NA NA NA NA 2 NA
## 3 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 4 NA NA NA 2 NA NA NA NA NA NA NA NA NA 3 NA
## 5 NA NA NA NA NA 3 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 1 NA NA NA NA NA NA NA
## s166 s167 s168 s169 s170 s171 s172 s173 s174 s175 s176 s177 s178 s179 s180
## 1 NA NA NA NA 2 NA NA NA NA NA NA NA NA NA 2
## 2 NA NA NA NA NA NA NA NA 2 NA NA NA NA NA NA
## 3 NA NA NA 0 NA NA NA NA NA NA NA NA NA 0 NA
## 4 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 5 3 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA
## 6 NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA NA
## s181 s182 s183 s184 s185 s186 s187 s188 s189 s190 s191 s192 s193 s194 s195
## 1 NA NA NA NA NA NA NA NA NA 2 NA NA NA NA NA
## 2 NA NA NA 1 NA NA NA NA NA NA NA NA NA 3 NA
## 3 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 4 NA NA NA 1 NA NA NA NA NA NA NA NA NA 3 NA
## 5 NA NA NA NA NA 1 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 3 NA NA NA NA NA NA NA
## s196 s197 s198 s199 s200 s201 s202 s203 s204 s205 s206 s207 s208 s209 s210
## 1 NA NA NA NA 0 NA NA NA NA NA NA NA NA NA 3
## 2 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 3 NA NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA
## 4 NA NA NA NA NA NA NA NA 2 NA NA NA NA NA NA
## 5 1 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA
## 6 NA NA 0 NA NA NA NA NA NA NA NA NA 2 NA NA
## s211 s212 s213 s214 s215 s216 s217 s218 s219 s220 s221 s222 s223 s224 s225
## 1 NA NA NA NA NA NA NA NA NA 0 NA NA NA NA NA
## 2 NA NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA
## 3 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 4 NA NA NA 1 NA NA NA NA NA NA NA NA NA 2 NA
## 5 NA NA NA NA NA 1 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 3 NA NA NA NA NA NA NA
## s226 s227 s228 s229 s230 s231 s232 s233 s234 s235 s236 s237 s238 s239 s240
## 1 NA NA NA NA 2 NA NA NA NA NA NA NA NA NA 2
## 2 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 3 NA NA NA 0 NA NA NA NA NA NA NA NA NA 3 NA
## 4 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 5 3 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA
## 6 NA NA 3 NA NA NA NA NA NA NA NA NA 3 NA NA
## s241 s242 s243 s244 s245 s246 s247 s248 s249 s250 s251 s252 s253 s254 s255
## 1 NA NA NA NA NA NA NA NA NA 1 NA NA NA NA NA
## 2 NA NA NA 1 NA NA NA NA NA NA NA NA NA 1 NA
## 3 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 4 NA NA NA 1 NA NA NA NA NA NA NA NA NA 1 NA
## 5 NA NA NA NA NA 0 NA NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 3 NA NA NA NA NA NA NA
## s256 s257 s258 s259 s260 s261 s262 s263 s264 s265 s266 s267 s268 s269 s270
## 1 NA NA NA NA 1 NA NA NA NA NA NA NA NA NA 0
## 2 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 3 NA NA NA 3 NA NA NA NA NA NA NA NA NA 2 NA
## 4 NA NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## 5 3 NA NA NA NA NA NA NA NA NA 3 NA NA NA NA
## 6 NA NA 3 NA NA NA NA NA NA NA NA NA 3 NA NA
## s271 s272 s273 s274 s275 s276 s277 s278 s279 s280 s281.0 s281.1 s281.2 s281.3
## 1 NA NA NA NA NA NA NA NA NA 2 3 NA NA NA
## 2 NA NA NA 1 NA NA NA NA NA NA NA NA NA NA
## 3 NA NA NA NA NA NA NA NA 0 NA NA NA NA NA
## 4 NA NA NA 2 NA NA NA NA NA NA NA NA NA NA
## 5 NA NA NA NA NA 3 NA NA NA NA NA NA NA NA
## 6 NA NA NA NA NA NA NA 3 NA NA NA NA NA NA
## s281.4 s281.5 s281.6 s281.7 s281.8 s281.9 s282.0 s282.1 s282.2 s282.3 s282.4
## 1 NA NA NA NA NA NA 1 NA NA NA NA
## 2 3 NA NA NA NA NA NA NA NA NA 1
## 3 NA NA NA NA NA 3 NA NA NA NA NA
## 4 3 NA NA NA NA NA NA NA NA NA 3
## 5 NA NA 3 NA NA NA NA NA NA NA NA
## 6 NA NA NA NA 3 NA NA NA NA NA NA
## s282.5 s282.6 s282.7 s282.8 s282.9 pl.Hokkaido pl.Aomori pl.Iwate pl.Miyagi
## 1 NA NA NA NA NA 0 0 0 0
## 2 NA NA NA NA NA 0 0 0 0
## 3 NA NA NA NA 1 0 0 0 0
## 4 NA NA NA NA NA 0 0 0 0
## 5 NA 3 NA NA NA 0 0 0 0
## 6 NA NA NA 3 NA 0 0 0 0
## pl.Akita pl.Yamagata pl.Fukushima pl.Ibaraki pl.Tochigi pl.Gunma pl.Saitama
## 1 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0
## 3 0 0 0 0 0 0 0
## 4 0 0 0 1 0 0 0
## 5 0 0 0 0 0 0 0
## 6 0 0 0 0 0 0 0
## pl.Chiba pl.Tokyo pl.Kanagawa pl.Niigata pl.Toyama pl.Ishikawa pl.Fukui
## 1 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0
## 3 0 0 1 0 0 0 0
## 4 0 0 0 0 1 0 0
## 5 0 0 1 0 0 0 0
## 6 0 0 0 0 0 0 0
## pl.Yamanashi pl.Nagano pl.Gifu pl.Shizuoka pl.Aichi pl.Mie pl.Shiga pl.Kyoto
## 1 1 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0 0
## 3 0 0 0 0 0 0 0 1
## 4 0 0 0 0 0 0 0 0
## 5 0 0 0 0 0 0 0 1
## 6 0 0 0 0 0 0 0 0
## pl.Osaka pl.Hyogo pl.Nara pl.Wakayama pl.Tottori pl.Shimane pl.Okayama
## 1 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0
## 3 0 0 0 0 0 0 0
## 4 0 0 0 0 0 0 0
## 5 0 0 0 0 0 1 0
## 6 0 0 0 0 0 0 0
## pl.Hiroshima pl.Yamaguchi pl.Tokushima pl.Kagawa pl.Ehime pl.Kouchi
## 1 0 0 0 0 0 0
## 2 0 0 1 0 0 0
## 3 0 0 0 0 0 0
## 4 0 0 0 0 0 0
## 5 0 0 0 0 0 0
## 6 0 0 0 0 0 0
## pl.Fukuoka pl.Saga pl.Nagasaki pl.Kumamoto pl.Ooita pl.Miyazaki pl.Kagoshima
## 1 0 0 0 0 0 0 0
## 2 0 0 0 0 0 0 0
## 3 0 0 0 0 0 0 0
## 4 0 0 0 0 0 0 0
## 5 0 0 0 0 0 0 0
## 6 0 0 0 0 0 0 0
## pl.Okinawa pl.Other
## 1 0 0
## 2 0 0
## 3 0 1
## 4 0 0
## 5 0 0
## 6 0 0This data contains 1,880 rows (for records or obsevations) and 367 columns (for variables).
nrow(data)## [1] 1880ncol(data)## [1] 367colnames(data)## [1] "R.ID.ext" "R.ID" "Q1" "Q2"
## [5] "Q3" "Q4" "Q5" "Q6"
## [9] "Q7" "Q8" "Q9" "Q10"
## [13] "Q11" "T.stamp" "conducted.place" "group"
## [17] "ver" "mode" "phase" "s001"
## [21] "s002" "s003" "s004" "s005"
## [25] "s006" "s007" "s008" "s009"
## [29] "s010" "s011" "s012" "s013"
## [33] "s014" "s015" "s016" "s017"
## [37] "s018" "s019" "s020" "s021"
## [41] "s022" "s023" "s024" "s025"
## [45] "s026" "s027" "s028" "s029"
## [49] "s030" "s031" "s032" "s033"
## [53] "s034" "s035" "s036" "s037"
## [57] "s038" "s039" "s040" "s041"
## [61] "s042" "s043" "s044" "s045"
## [65] "s046" "s047" "s048" "s049"
## [69] "s050" "s051" "s052" "s053"
## [73] "s054" "s055" "s056" "s057"
## [77] "s058" "s059" "s060" "s061"
## [81] "s062" "s063" "s064" "s065"
## [85] "s066" "s067" "s068" "s069"
## [89] "s070" "s071" "s072" "s073"
## [93] "s074" "s075" "s076" "s077"
## [97] "s078" "s079" "s080" "s081"
## [101] "s082" "s083" "s084" "s085"
## [105] "s086" "s087" "s088" "s089"
## [109] "s090" "s091" "s092" "s093"
## [113] "s094" "s095" "s096" "s097"
## [117] "s098" "s099" "s100" "s101"
## [121] "s102" "s103" "s104" "s105"
## [125] "s106" "s107" "s108" "s109"
## [129] "s110" "s111" "s112" "s113"
## [133] "s114" "s115" "s116" "s117"
## [137] "s118" "s119" "s120" "s121"
## [141] "s122" "s123" "s124" "s125"
## [145] "s126" "s127" "s128" "s129"
## [149] "s130" "s131" "s132" "s133"
## [153] "s134" "s135" "s136" "s137"
## [157] "s138" "s139" "s140" "s141"
## [161] "s142" "s143" "s144" "s145"
## [165] "s146" "s147" "s148" "s149"
## [169] "s150" "s151" "s152" "s153"
## [173] "s154" "s155" "s156" "s157"
## [177] "s158" "s159" "s160" "s161"
## [181] "s162" "s163" "s164" "s165"
## [185] "s166" "s167" "s168" "s169"
## [189] "s170" "s171" "s172" "s173"
## [193] "s174" "s175" "s176" "s177"
## [197] "s178" "s179" "s180" "s181"
## [201] "s182" "s183" "s184" "s185"
## [205] "s186" "s187" "s188" "s189"
## [209] "s190" "s191" "s192" "s193"
## [213] "s194" "s195" "s196" "s197"
## [217] "s198" "s199" "s200" "s201"
## [221] "s202" "s203" "s204" "s205"
## [225] "s206" "s207" "s208" "s209"
## [229] "s210" "s211" "s212" "s213"
## [233] "s214" "s215" "s216" "s217"
## [237] "s218" "s219" "s220" "s221"
## [241] "s222" "s223" "s224" "s225"
## [245] "s226" "s227" "s228" "s229"
## [249] "s230" "s231" "s232" "s233"
## [253] "s234" "s235" "s236" "s237"
## [257] "s238" "s239" "s240" "s241"
## [261] "s242" "s243" "s244" "s245"
## [265] "s246" "s247" "s248" "s249"
## [269] "s250" "s251" "s252" "s253"
## [273] "s254" "s255" "s256" "s257"
## [277] "s258" "s259" "s260" "s261"
## [281] "s262" "s263" "s264" "s265"
## [285] "s266" "s267" "s268" "s269"
## [289] "s270" "s271" "s272" "s273"
## [293] "s274" "s275" "s276" "s277"
## [297] "s278" "s279" "s280" "s281.0"
## [301] "s281.1" "s281.2" "s281.3" "s281.4"
## [305] "s281.5" "s281.6" "s281.7" "s281.8"
## [309] "s281.9" "s282.0" "s282.1" "s282.2"
## [313] "s282.3" "s282.4" "s282.5" "s282.6"
## [317] "s282.7" "s282.8" "s282.9" "pl.Hokkaido"
## [321] "pl.Aomori" "pl.Iwate" "pl.Miyagi" "pl.Akita"
## [325] "pl.Yamagata" "pl.Fukushima" "pl.Ibaraki" "pl.Tochigi"
## [329] "pl.Gunma" "pl.Saitama" "pl.Chiba" "pl.Tokyo"
## [333] "pl.Kanagawa" "pl.Niigata" "pl.Toyama" "pl.Ishikawa"
## [337] "pl.Fukui" "pl.Yamanashi" "pl.Nagano" "pl.Gifu"
## [341] "pl.Shizuoka" "pl.Aichi" "pl.Mie" "pl.Shiga"
## [345] "pl.Kyoto" "pl.Osaka" "pl.Hyogo" "pl.Nara"
## [349] "pl.Wakayama" "pl.Tottori" "pl.Shimane" "pl.Okayama"
## [353] "pl.Hiroshima" "pl.Yamaguchi" "pl.Tokushima" "pl.Kagawa"
## [357] "pl.Ehime" "pl.Kouchi" "pl.Fukuoka" "pl.Saga"
## [361] "pl.Nagasaki" "pl.Kumamoto" "pl.Ooita" "pl.Miyazaki"
## [365] "pl.Kagoshima" "pl.Okinawa" "pl.Other"In what follows, I describe what these variables encode, what these records were obtained, and how they were processed to make this outcome.
2.2 300 sentences used for rating task
In Phase 2, we had 300 stimuli, as presented below, randomly separated into 10 groups (gr0, gr1, …, gr9):
## s.id gr type text
## s010 0 n 担当者が携帯で出張もさから電話を入れた。
## s020 0 p 熊がサーカスで自転車をトレーナーを習った。
## s030 0 n 伝書鳩が戦地で進攻を司令官に届けた。
## s040 0 s 職員がまっすぐに絵画を美術館で直した。
## s050 0 v 伝書鳩が戦地で戦況を司令官に送り届けた。
## s060 0 s 子供が足し算とかけ算を宿題で間違えた。
## s070 0 s 続編で宿敵がピンチに主人公と助けた。
## s080 0 n 娘が病院で医者に軽症と聞いた。
## s090 0 v 脚本家が話し合いで前日に台詞を考え直した。
## s100 0 o 暴漢が鋭利な刃物で背後から人を襲った。
## s110 0 s 仲間とコンビニを失業者が盗んだ自動車で襲った。
## s120 0 v ランナーが路上で悲鳴を夕暮れ時にかき消した。
## s130 0 n 先生が赤ペンで一から詩を直した。
## s140 0 v 弟が家で妹と料理を習わせた。
## s150 0 v 失業者が盗っだ自動車で仲間とコンビニを襲った。
## s160 0 n 男性が茶碗で角砂糖を紅茶に入れた。
## s170 0 v ランナーが路上で悲鳴を夕暮れ時に聞き取れた。
## s180 0 p 失業者を盗んだ自動車で仲間とコンビニを襲った。
## s190 0 o ランナーが路上で悲鳴を夕暮れ時に聞こえた。
## s200 0 n 脚本家が話し合いで翌日に台詞を直した。
## s210 0 n 宿敵が続編で苦境に主人公と助けた。
## s220 0 s 社長が社員に口頭で解雇を伝えた。
## s230 0 v 社長が口頭で社員に解雇を読み取った。
## s240 0 s 部下が温泉に北海道で同僚と遊んだ。
## s250 0 s 医学生が解剖実習で看護師と医師に習った。
## s260 0 s 見解をその芸能人が質問者に会見で答えた
## s270 0 s 家で弟が妹と料理を習った。
## s280 0 p 新婚さんが役所が窓口に転居届と届けた。
## s281.0 0 p 夫が職場で真夜中に妻へ知り合った。
## s282.0 0 n 学生が合格発表の場で足下から幸福を感じた。
## s001 1 n 幼児が肩車で茎に手を届いた。
## s011 1 n 同僚が北海道で温泉に同僚と遊んだ。
## s021 1 o 弟が家で妹と料理を習った。
## s031 1 s スプーンで男性が角砂糖を紅茶に入れた。
## s041 1 n 祖母がキッチンで早朝にラジオを聞いた。
## s051 1 o 娘が病院で医者に重症と聞いた。
## s061 1 n 子供が宿題で足し算と分数を間違えた。
## s071 1 s 抗議をデモで政府に大衆が繰り返した。
## s081 1 n 医学生が解剖実習で医師に看護院と習った。
## s091 1 p 男性がスプーンを角砂糖を紅茶に入れた。
## s101 1 o 青年が震災で救出時に飼い犬と助かった。
## s111 1 p シロクマが動物園で氷と足元に遊んだ。
## s121 1 p 司令官で無線で本部から命令を伝えた。
## s131 1 s 肩車で幼児が枝に手を届いた。
## s141 1 n 戦が続編でピンチに主人公と助けた。
## s151 1 s 通り魔が休日の路上で不意に通行者を襲った。
## s161 1 o 部下が給湯室で上司から噂を聞いた。
## s171 1 s 絵画を美術館で職員がまっすぐに直した。
## s181 1 s 司令官に戦地で戦況を伝書鳩が届けた。
## s191 1 o 子供が宿題で足し算とかけ算を間違えた。
## s201 1 v 暴漢が鋭利な刃物で背後から人を悩ました。
## s211 1 v 後輩が現場で先輩から基礎を学んだ。
## s221 1 n 職員がギメで絵画をまっすぐに直した。
## s231 1 o 失業者が盗んだ自動車で仲間とコンビニを襲った。
## s241 1 n チーターが全速力で見事に井倉を襲った。
## s251 1 p 市民が広場で銃声と叫び声で聞こえた。
## s261 1 s 解雇を口頭で社員に社長が伝えた。
## s271 1 p 後輩が現場で先輩から基礎で習った。
## s281.1 1 p 夫が職場で真夜中に妻へ知り合った。
## s282.1 1 n 学生が合格発表の場で足下から幸福を感じた。
## s002 2 p 通り魔が休日の路上が通行者を不意に襲った。
## s012 2 v 高得点者が掲示で一位から十位を見れた。
## s022 2 s ピンチに続編で宿敵が主人公と助けた。
## s032 2 s 携帯で担当者が出張先から電話を入れた。
## s042 2 v 講師が受験対策で学生に良い解法を教わった。
## s052 2 o 高得点者が掲示で一位から十位を載った。
## s062 2 v 夫が職場で真夜中に妻と会った。
## s072 2 n 弟が家で妹とゴーヤーチャンプルーを習った。
## s082 2 p 職員が美術館で絵画でまっすぐに直した。
## s092 2 n 学的が論文賞で顔写真を広報誌に載った。
## s102 2 s 紅茶にスプーンで角砂糖を男性が入れた。
## s112 2 s 初戦を優勝候補がトーナメントで突然に負けた。
## s122 2 p 学者が論文賞で顔写真から広報誌に載った。
## s132 2 v 大衆がデモで政府に抗議を重ねた。
## s142 2 p 通り魔が休日の路上を通行者を不意に襲った。
## s152 2 p 失業者が盗んだ自動車が仲間とコンビニを襲った。
## s162 2 n 雇用者が盗んだ自動車で仲間とコンビニを襲った。
## s172 2 v 青年が震災で救出時に飼い犬と救った。
## s182 2 p 医師が手術から血管と神経をつないだ。
## s192 2 v シロクマが動物園で氷を足元に楽しんだ。
## s202 2 p 子供が宿題で足し算とかけ算から間違えた。
## s212 2 v 子供が宿題で足し算とかけ算を忘れた。
## s222 2 s 先輩から現場で後輩が基礎を習った。
## s232 2 p 新婚さんが役所で窓口に転居届で届けた。
## s242 2 v 失業者が盗んだ自動車で仲間とコンビニを悩ました。
## s252 2 s 休日の路上で通り魔が通行者を不意に襲った。
## s262 2 v 幼児が肩車で枝に手を送った。
## s272 2 s 捕虜が忠誠心から秘密を尋問で黙った。
## s281.2 2 p 夫が職場で真夜中に妻へ知り合った。
## s282.2 2 n 学生が合格発表の場で足下から幸福を感じた。
## s003 3 p 担当者が携帯で出張先を電話を入れた。
## s013 3 p 捕虜が尋問に忠誠心から秘密を黙った。
## s023 3 s 暴漢が鋭利な刃物で人を背後から襲った。
## s033 3 s 氷を動物園でシロクマが足元に遊んだ。
## s043 3 v 暴漢が鋭利な刃物で背後から人を襲いかかった。
## s053 3 n 上司が給湯室で上司から噂を聞いた。
## s063 3 v 後輩が現場で先輩から基礎を通った。
## s073 3 p 人が河原で洪水が子猫を助けた。
## s083 3 p 高得点者が掲示で一位から十位が載った。
## s093 3 p 部下で給湯室で上司から噂を聞いた。
## s103 3 o 字のうまい青年が外国で生活の必要から書道を教えた。
## s113 3 v 司令官が無線で本部から命令を読みとった。
## s123 3 p 司令官が無線で本部が命令を伝えた。
## s133 3 s 熊がトレーナーに自転車をサーカスで習った。
## s143 3 v 職員が美術館で絵画をまっすぐに直せた。
## s153 3 o 医学生が解剖実習で医師に看護師と習った。
## s163 3 s 顔写真を論文賞で学者が広報誌に載った。
## s173 3 n 親友が現場で先輩から基礎を習った。
## s183 3 n 幼児が船虫で枝に手を届いた。
## s193 3 v 大衆がデモで政府に抗議を繰返した。
## s203 3 p 娘が病院を医者に重症と聞いた。
## s213 3 n 医師に解剖実習で医学生が看護師と習った。
## s223 3 n 君が赤ペンで一から文章を直した。
## s233 3 v 伝書鳩が戦地で戦況を司令官に持ち帰った。
## s243 3 v 男性がスプーンで角砂糖を紅茶に取り出した。
## s253 3 n 高得点者が掲示で一位から十ワーストを載った。
## s263 3 v 医学生が解剖実習で医師に看護師と教わった。
## s273 3 n 後輩が現場で同僚から基礎を習った。
## s281.3 3 p 夫が職場で真夜中に妻へ知り合った。
## s282.3 3 n 学生が合格発表の場で足下から幸福を感じた。
## s004 4 p 市民が広場で銃声と叫び声が聞こえた。
## s014 4 n 高得点者が掲示で一位から九位を載った。
## s024 4 s 後輩が現場で基礎を先輩から習った。
## s034 4 v 先生が赤ペンで一から文章を作り直した。
## s044 4 v 熊がサーカスで自転車をトレーナーに習わせた。
## s054 4 o 宿敵が続編でピンチに主人公と助けた。
## s064 4 v 青年が震災で救出時に飼い犬と救えた。
## s074 4 p 暴漢で鋭利な刃物で背後から人を襲った。
## s084 4 p 社長が口頭で社員に解雇に伝えた。
## s094 4 n 伝書鳩が戦地で戦況を司令官で届けた。
## s104 4 s 見事に全速力でチーターがガゼルを襲った。
## s114 4 s 一位から掲示で高得点者が十位を載った。
## s124 4 n 医師が手術で肺と神経をつないだ。
## s134 4 v 医師が手術で血管と神経を組んだ。
## s144 4 o 熊がサーカスで自転車をトレーナーに習った。
## s154 4 v 学者が論文賞で顔写真を広報誌に書いた。
## s164 4 v 職員が美術館で絵画をまっすぐに直った。
## s174 4 v 担当者が携帯で出張先から電話を投げ入れた。
## s184 4 s 人が子猫を洪水から河原で助けた。
## s194 4 p 部下が北海道で温泉を同僚と遊んだ。
## s204 4 o 部下が北海道で温泉に同僚と遊んだ。
## s214 4 s 担当者が電話を出張先から携帯で入れた。
## s224 4 s 新婚さんが役所で転居届と窓口に届けた。
## s234 4 s 十位を掲示で一位から高得点者が載った。
## s244 4 n 娘が病院で医者に心筋梗塞と聞いた。
## s254 4 s 娘が病院で重症と医者に聞いた。
## s264 4 p ランナーが路上で悲鳴から夕暮れ時に聞こえた。
## s274 4 v 母がキッチンで早朝にラジオを聞けた。
## s281.4 4 p 夫が職場で真夜中に妻へ知り合った。
## s282.4 4 n 学生が合格発表の場で足下から幸福を感じた。
## s005 5 n 担当者が携帯で出張さきから電話を入れた。
## s015 5 v 学者が論文賞で顔写真を広報誌に見れた。
## s025 5 p 医学生で解剖実習で医師に看護師と習った。
## s035 5 p 幼児が肩車で枝から手を届いた。
## s045 5 s 部下が噂を上司から給湯室で聞いた。
## s055 5 v 司令官が無線で本部から命令をくみ取った。
## s065 5 v 彼女が手紙で真実を不意に話しかけた。
## s075 5 s シロクマが足元に氷を動物園で遊んだ。
## s085 5 n オーナーが口頭で社員に解雇を伝えた。
## s095 5 p 部下が北海道で温泉が同僚と遊んだ。
## s105 5 v 脚本家が話し合いで前日に台詞を戻した。
## s115 5 n 学者が論文賞で顔図版を広報誌に載った。
## s125 5 n 子どもが宿題で足し算とかけ算を間違えた。
## s135 5 n 中国人が河原で洪水から子猫を助けた。
## s145 5 n 大衆が反戦で政府に抗議を繰り返した。
## s155 5 p 青年が震災を救出時に飼い犬と助かった。
## s165 5 v 人が河原で洪水から子猫を力づけた。
## s175 5 n 親戚連れが潮干狩りで海に貝を探した。
## s185 5 v 新婚さんが役所で窓口に転居届と送った。
## s195 5 v 市民が広場で銃声と叫び声をかき消した。
## s205 5 o 関係者がインターネットで個人情報を相互に知り合った。
## s215 5 v 新婚さんが役所で窓口に転居届と受け取った。
## s225 5 s 人が洪水から河原で子猫を助けた。
## s235 5 v 子供が宿題で足し算とかけ算を分かった。
## s245 5 o 職員が美術館で絵画をまっすぐに直した。
## s255 5 p 先生が赤ペンで一から文章で直した。
## s265 5 n 伝書鳩が戦地で戦況を司令分掌に届けた。
## s275 5 o 私が遊園地でインフルエンザに家族と感染した。
## s281.5 5 p 夫が職場で真夜中に妻へ知り合った。
## s282.5 5 n 学生が合格発表の場で足下から幸福を感じた。
## s006 6 p 青年が震災が救出時に飼い犬と助かった。
## s016 6 v 母がキッチンで早朝にラジオを尋ねた。
## s026 6 v 医師が手術で血管と神経を結んだ。
## s036 6 v 娘が病院で医者に重症と聴いた。
## s046 6 s 戦況を戦地で伝書鳩が司令官に届けた。
## s056 6 v 幼児が肩車で枝に手を出せた。
## s066 6 n 上官が給湯室で上司から噂を聞いた。
## s076 6 s 足し算とかけ算を宿題で子供が間違えた。
## s086 6 p 大衆までデモで政府に抗議を繰り返した。
## s096 6 o 脚本家が話し合いで前日に台詞を直した。
## s106 6 s 青年が救出時に震災で飼い犬と助かった。
## s116 6 n 新婚さんが役所で窓口に転居届けと届けた。
## s126 6 p 部下に給湯室で上司から噂を聞いた。
## s136 6 n 乱闘が鋭利な刃物で背後から人を襲った。
## s146 6 s 無線で司令官が本部から命令を伝えた。
## s156 6 p 大衆がデモに政府に抗議を繰り返した。
## s166 6 p 脚本家まで話し合いで前日に台詞を直した。
## s176 6 n マラソンが路上で悲鳴を夕暮れ時に聞こえた。
## s186 6 s 医者に病院で娘が重症と聞いた。
## s196 6 o 通り魔が休日の路上で通行者を不意に襲った。
## s206 6 o 人が河原で洪水から子猫を助けた。
## s216 6 s 医師が血管と神経を手術でつないだ。
## s226 6 v 医学生が解剖実習で医師に看護師と習わせた。
## s236 6 v 高得点者が掲示で一位から十位を書けた。
## s246 6 o 先生が赤ペンで一から文章を直した。
## s256 6 p 宿敵が続編からピンチに主人公と助けた。
## s266 6 v 先生が赤ペンで一から文章を戻した。
## s276 6 n 脚本家が話し合いで前日にフレーズを直した。
## s281.6 6 p 夫が職場で真夜中に妻へ知り合った。
## s282.6 6 n 学生が合格発表の場で足下から幸福を感じた。
## s007 7 s 同僚と北海道で温泉に部下が遊んだ。
## s017 7 s 血管と神経を手術で医師がつないだ。
## s027 7 o 社長が口頭で社員に解雇を伝えた。
## s037 7 n コミュニティが広場で銃声と叫び声を聞こえた。
## s047 7 o 学者が論文賞で顔写真を広報誌に載った。
## s057 7 n 市民が広場で足音と叫び声を聞こえた。
## s067 7 v 娘が病院で医者に重症と訊いた。
## s077 7 n 青年が震災で救出正午に飼い犬と助かった。
## s087 7 n 男性がスプーンで角砂糖をコーヒーに入れた。
## s097 7 p 医学生が解剖実習で医師に看護師で習った。
## s107 7 s 前日に話し合いで脚本家が台詞を直した。
## s117 7 p チーターから全速力で見事にガゼルを襲った。
## s127 7 p 高得点者が掲示を一位から十位を載った。
## s137 7 v 市民が広場で銃声と叫び声を聴こえた。
## s147 7 p 脚本家が話し合いへ前日に台詞を直した。
## s157 7 o シロクマが動物園で氷を足元に遊んだ。
## s167 7 p 弟が家で妹と料理まで習った。
## s177 7 p 母がキッチンが早朝にラジオを聞いた。
## s187 7 v チーターが全速力で見事にガゼルを襲いかかった。
## s197 7 s 大衆が抗議を政府にデモで繰り返した。
## s207 7 p 弟が家で妹から料理を習った。
## s217 7 n 大衆がデモで政府に弾劾を繰り返した。
## s227 7 n ランナーが軒下で悲鳴を夕暮れ時に聞こえた。
## s237 7 n 人が河原で土砂から子猫を助けた。
## s247 7 n シロクマがほ乳類園で氷を足元に遊んだ。
## s257 7 s 学者が顔写真を論文賞で広報誌に載った。
## s267 7 o 医師が手術で血管と神経をつないだ。
## s277 7 n 青年が震災で救出時に飼い主と助かった。
## s281.7 7 p 夫が職場で真夜中に妻へ知り合った。
## s282.7 7 n 学生が合格発表の場で足下から幸福を感じた。
## s008 8 s 先生が一から赤ペンで文章を直した。
## s018 8 n オコジョが動物園で氷を足元に遊んだ。
## s028 8 n 医学生が解剖実習で医師に看護居士と習った。
## s038 8 p 人が河原で洪水から子猫が助けた。
## s048 8 v 部下が北海道で温泉に同僚と楽しんだ。
## s058 8 p 担当者が携帯で出張先から電話で入れた。
## s068 8 v 宿敵が続編でピンチに主人公と助け出した。
## s078 8 n 社長が口頭で社内に解雇を伝えた。
## s088 8 v 人が河原で洪水から子猫を助け出した。
## s098 8 p シロクマに動物園で氷を足元に遊んだ。
## s108 8 n 隊長が北海道で温泉に同僚と遊んだ。
## s118 8 s 飼い犬と震災で救出時に青年が助かった。
## s128 8 p 医師が手術を血管と神経をつないだ。
## s138 8 v 部下が給湯室で上司から噂を尋ねた。
## s148 8 p チーターを全速力で見事にガゼルを襲った。
## s158 8 o チーターが全速力で見事にガゼルを襲った。
## s168 8 o 司令官が無線で本部から命令を伝えた。
## s178 8 o 幼児が肩車で枝に手を届いた。
## s188 8 p 宿敵へ続編でピンチに主人公と助けた。
## s198 8 n 母が居間で早朝にラジオを聞いた。
## s208 8 p 母がキッチンから早朝にラジオを聞いた。
## s218 8 n 講座が受験対策で女学生に良い固有値を教えた。
## s228 8 s 路上でランナーが悲鳴を夕暮れ時に聞こえた。
## s238 8 p 社長が口頭で社員に解雇で伝えた。
## s248 8 s 広場で市民が銃声と叫び声を聞こえた。
## s258 8 o 新婚さんが役所で窓口に転居届と届けた。
## s268 8 v 通り魔が休日の路上で通行者を不意に苛(さいな)んだ。
## s278 8 v 社長が口頭で社員に解雇を伝わった。
## s281.8 8 p 夫が職場で真夜中に妻へ知り合った。
## s282.8 8 n 学生が合格発表の場で足下から幸福を感じた。
## s009 9 v 通り魔が休日の路上で通行者を不意に追い払った。
## s019 9 s 先生が赤ペンで文章を一から直した。
## s029 9 v 部下が北海道で温泉に同僚と遊べだ。
## s039 9 n 温血動物が全速力で見事にガゼルを襲った。
## s049 9 s 市民が銃声と叫び声を広場で聞こえた。
## s059 9 s ランナーが悲鳴を路上で夕暮れ時に聞こえた。
## s069 9 n 司令官が受信で本部から命令を伝えた。
## s079 9 o 大衆がデモで政府に抗議を繰り返した。
## s089 9 p 子供が宿題で足し算とかけ算に間違えた。
## s099 9 o 船が遠回りで海路を安全に行った。
## s109 9 o 男性がスプーンで角砂糖を紅茶に入れた。
## s119 9 s チーターが全速力でガゼルを見事に襲った。
## s129 9 v 波紋が投石で落下点から水面を表れた。
## s139 9 v 男性がスプーンで角砂糖を紅茶に放り込んだ。
## s149 9 s 命令を無線で本部から司令官が伝えた。
## s159 9 p 幼児が肩車が枝に手を届いた。
## s169 9 o 伝書鳩が戦地で戦況を司令官に届けた。
## s179 9 o 後輩が現場で先輩から基礎を習った。
## s189 9 p 娘で病院で医者に重症と聞いた。
## s199 9 o 担当者が携帯で出張先から電話を入れた。
## s209 9 p 伝書鳩を戦地で戦況を司令官に届けた。
## s219 9 n 熊が四重奏で自転車をトレーナーに習った。
## s229 9 v 弟が家で妹と料理を教わった。
## s239 9 v チーターが全速力で見事にガゼルを見舞った。
## s249 9 p 学者が論文賞に顔写真を広報誌に載った。
## s259 9 p ランナーが路上で悲鳴を夕暮れ時を聞こえた。
## s269 9 n 新婚さんが役所で窓口に転居書類と届けた。
## s279 9 o 母がキッチンで早朝にラジオを聞いた。
## s281.9 9 p 夫が職場で真夜中に妻へ知り合った。
## s282.9 9 n 学生が合格発表の場で足下から幸福を感じた。2.2.1 Mutation/edit types
Remark that s281 and s282 are senteces carried over from Survey 1 (黒田 et al. 2017). They are common elements in all groups in Survey 2, so that for s281.i and s282.i, i indicates the group index.
Account of mutation/edit types (o, n, v, p, s): “o” for the originals to which no mutations were applied, “n” for nominal mutations in which nouns are randomly replaced with distributionally similar terms, “v” for verbal mutations in which verbs were randomly replaced with distributionally similar verbs, “p” for positional mutations in which positional/case-makers, e.g., -ga, -wo, -de, -ni, -kara, -made, were randomly replaced with others, and finally “s” for swapping in which a randomly selected pair of noun phrases were exchanged to mimick “scrambling”.
Beside the 36 “originals” manually constructed by human, i.e., members of the ARDJ project, other stimuli were automatically generated using a script provided at Japanese sentence mutator, which was mainly developed by Hikaru Yokono.
2.2.2 Selection of target verbs
Based on the frequency rank provided by NINJAL-LWP for BCCWJ, the 27 verbs in the originals were carefully selected and used after Formal Concept Analysis was done. For more details, see (黒田 2018) For more details, see (Kuroda et al. 2018)
2.3 How responses were collected in Phase 1 and Phase 2
2.3.1 10 Questions or 11
Before starting the rating task, we asked raters to answer the following 10 or 11 questions: phase 1 requests for answering 10 questions, phase 2 requested for answering 11 quesionns). The two phases had the following settings.
In Phase 1, we had the following:
## 10 Questions for Survey 2, Phase 1 (paper-based)
##
## Q1. Age [integer]
## Q2. Gender [factor: 1 = M, 2 = F; 3 = U]
## Q3. Japanese nativity [factor: 1 = Y, 2 = N, 3 = U]
## Q4. Original area in terms of prefecture <single choice> [factor:
##
## 01 = Hokkaido (北海道),
## 02 = Aomori (青森県),
## 03 = Iwate (岩手県),
## 04 = Miyagi (宮城県),
## 05 = Akita (秋田県),
## 06 = Yamagata (山形県),
## 07 = Fukushima (福島県),
## 08 = Ibaraki (茨城県),
## 09 = Tochigi (栃木県),
## 10 = Gunma (群馬県),
## 11 = Saitama (埼玉県),
## 12 = Chiba (千葉県),
## 13 = Tokyo (東京都),
## 14 = Kanagawa (神奈川県),
## 15 = Niigata (新潟県),
## 16 = Toyama (富山県)
## 17 = Ishikawa (石川県),
## 18 = Fukui (福井県),
## 19 = Yamanashi (山梨県),
## 20 = Nagano (長野県)
## 21 = Gifu (岐阜県)
## 22 = Shizuoka (静岡県)
## 23 = Aichi (愛知県),
## 24 = Mie (三重県),
## 25 = Shiga (滋賀県),
## 26 = Kyoto (京都府),
## 27 = Osaka (大阪府),
## 28 = Hyogo (兵庫県),
## 29 = Nara (奈良県),
## 30 = Wakayama (和歌山県),
## 31 = Tottori (鳥取県),
## 32 = Shimane (島根県),
## 33 = Okayama (岡山県),
## 34 = Hiroshima (広島県),
## 35 = Yamaguchi (山口県),
## 36 = Tokushima (徳島県),
## 37 = Kagawa (香川県),
## 38 = Ehime (愛媛県),
## 39 = Kouchi (高知県),
## 40 = Fukuoka (福岡県),
## 41 = Saga (佐賀県),
## 42 = Nagasaki (長崎県),
## 43 = Kumamoto (熊本県),
## 44 = Ooita (大分県),
## 45 = Miyazaki (宮崎県),
## 46 = Kagoshima (鹿児島県),
## 47 = Okinawa (沖縄県),
## 99 = Other (その他)
## ]
##
## Q5. experience of living abroad [factor: 1 = Y, 2 = N, 3 = U]
## Q6. number of foreign languages ever learned [integer]
## Q7. years of foreign language learning [integer]
## Q8. have regular contacts with foreigners [factor: 1 = Y, 2 = N, 3 = U]
## Q9. number of books read in a month [integer]
## Q10. years of education (6 years +) [integer]In Phase 2, we had the following:
## 11 Questions for Survey 2, Phase 2 (web-based)
##
## Q1. Age [integer];
## Q2. Gender [factor: F, M, U];
## Q3. Japanese-nativity [factor: Y, N, U];
## Q4. Lived places <multiple choice> [factor: Hokkaido, Aomori, ..., Other];
## Q5. Experience of living abroad [factor: Y, N, U];
## Q6. Number of learned languages [factor: Y, N, U];
## Q7. Years of foreign language learning [integer];
## Q8. Regular contact with foreigners [factor: Y, N, U];
## Q9. Numeber of books read in a month [integer];
## Q10. Length of education (after elementary school) [integer range as factor];
## Q11. Intellectual orientation [factor: S2, S1, N, L1, L2]2.4 Description of meta variables
2.4.1 R.ID and R.ID.ext
R.ID.ext encodes the identifies of responses. R.ID encodes the identifies of 877 raters. Since the same raters rated stimuli in different groups as many as three, an R.ID can repeat itself up to three times.
head(data$R.ID)## [1] "r0001" "r0001" "r0001" "r0002" "r0003" "r0003"R.ID.ext is the combination of a rater’s indetify and the group index he or she gave ratings to. Thus, R.ID.ext provides the unique indices to responses on preserving rater’s indentiy.
head(data$R.ID.ext)## [1] "r0001.0" "r0001.4" "r0001.9" "r0002.4" "r0003.6" "r0003.8"2.5 Description of variables
The two sets of responses for Phase 1 and Phase 2 were unified though they did not use the same questions and conditions. Some of the variables do not exactly the same response though the names are the same.
2.5.1 Q1 Age
[integer] Responses are equally conditioned in Phases 1 and 2.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
hist(data$Q1, breaks = 10)
2.5.2 Q2. Gender
[factor: F, M, U] Responses are equally conditioned in Phases 1 and 2, though responses were encoded in numbers in Phase 1 and by symbols in Phase 2.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,4,4,4), xpd = T)
barplot(table(data$Q2), main = "Q2 responses")
2.5.3 Q3. Japanese-nativity
[factor: Y, N, U] Responses are equally conditioned in Phases 1 and 2, though responses were encoded in numbers in Phase 1 and by symbols in Phase 2.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,4,4,4), xpd = T)
barplot(table(data$Q3), main = "Q3 responses")
2.5.4 Q4. Lived places
[factor: Hokkaido, Aomori, …, Other] Responses are differently conditioned in Phases 1 and 2. Q4 in Phase 1 asked each rater to answer the “original” area as a single place in terms of prefecture. On the other hand, Q4 in Phase 2 asked each rater to answer as many prefectures as possible, including living abroad as “Other”.
Names of places are combined by “;”.
par(family = eval(sans.fn), cex = 0.6, mar = c(4,5,4,5))
barplot(sort(table(unlist(strsplit(data$Q4, ";"))),
decreasing = T), main = "Q4 responses (factorized)")
The most contributing place is Tokyo; the second is Kanagawa, and the third is Osaka.
head(sort(table(unlist(strsplit(data$Q4, ";"))),
decreasing = T))##
## Tokyo Kanagawa Osaka Saitama Aichi Chiba
## 618 324 319 238 218 2142.5.5 Q5. Experience of living abroad
[factor: Y, N, U] Responses are equally conditioned in Phases 1 and 2, though responses were encoded in numbers in Phase 1 and by symbols in Phase 2.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
barplot(table(data$Q5), main = "Q5 responses")
2.5.6 Q6. Number of learned languages
[factor: Y, N, U] Responses are equally conditioned in Phases 1 and 2.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
barplot(table(data$Q6), main = "Q6 responses")
2.5.7 Q7. Years of foreign language learning
[integer] Responses are equally conditioned in Phases 1 and 2, though responses were encoded in numbers in Phase 1 and by symbols in Phase 2.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
barplot(table(data$Q7), main = "Q7 responses")
2.5.8 Q8. Regular contact with foreigners
[factor: Y, N, U] Responses are equally conditioned in Phases 1 and 2, though responses were encoded in numbers in Phase 1 and by symbols in Phase 2.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
barplot(table(data$Q8), main = "Q9 responses")
2.5.9 Q9. Approximate numeber of books read in a month
[integer] Responses are equally conditioned in Phases 1 and 2, both in number.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
barplot(table(data$Q9), main = "Q9 responses")
2.5.10 Q10. Length of education (after elementary school) in terms of year
[integer range as factor] Responses are equally conditioned in Phases 1 and 2, both in number.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
barplot(table(data$Q10), main = "Q10 responses")
2.5.11 Q11. Intellectual orientation
[factor: S2 (Strongly scientifically oriented), S1 (Relatively scienctifically oriented), N (Neutral), L1 (Relatively literally oriented), L2 (Strongly literally oriented)] This question was posed in Phase 2 only. Thus, raters in Phase 1 have NA for this variable.
par(family = eval(sans.fn), cex = 0.8, mar = c(4,5,4,5))
barplot(table(data$Q11), main = "Q11 responses")
2.5.12 T.stamp
Timestamp, effective for Phase 2 only. Google Form automatically recorded this information. Variable mode below was determined using this variable.
2.5.13 mode
We asked raters to rate the “naturalness” of the 30 senteces in a group, gr0, gr1, …, gr9, given to them as stimuli. Rondomization was in effect, but in different degrees in Phase 1 and Phase 2.
In Phase 2, instructions for rating were given in two different ways. Call them “mode 1” and “mode 2”, which are encoded variable “mode”.
## *** mode 1 ***
##
## 次に30種類の文をお見せします．個々の文を次の4つの基準で評定して下さい．
##
## 0. 違和感がなく自然に理解できる文，
##
## 1. 違和感を感じるが理解可能な文，
##
## 2. 違和感を感じて理解困難な文，
##
## 3. 不自然で理解不能な文
##
## 提示の順序は回答者ごとに変えてあります．文の先頭に付いている整理数字は無視して下さい．
##
## *** mode 2 ***
##
## 次にお見せする30種類の文はコンピュータが自動作成したものです．一部の品質には難があり，それを見つけたいと思っています．そのために，個々の文を次の4つの基準で評定して下さい．
##
## 0. 違和感がなく自然に理解できる文，
##
## 1. 違和感を感じるが理解可能な文，
##
## 2. 違和感を感じて理解困難な文，
##
## 3. 不自然で理解不能な文
##
## 提示の順序は回答者ごとに変えてあります．文の先頭に付いている整理数字は無視して下さい．This was intended to see if such difference in instruction would produce effects on rating and it was positively confirmed.
2.5.14 conducted.place
This is effective for Phase 1 only and encodes the name of a place in which paper-based survey was conducted.
par(family = eval(sans.fn), cex = 0.7, mar = c(4,5,4,5))
barplot(table(data$conducted.place), main = "Conducted place")
2.5.15 ver
This specifies the “version” of the survey sheet used in Phase 1, a paper-based survey. Valid values are A, B and C (but C was not used).
2.5.16 phase
This variable explicitly encodes the distinction bettween Phase 1 and Phase 2.
2.5.17 pl.Hokkaido, …., pl.Other
This part is a matrix that numerically encodes the categorical information in Q4.
3 A Few Rudimentary Analyses
I’m going to show a few simple multivariate analyses base on s2u. Note that they use “unfiltered” data in that a good number of outliers are not removed.
3.1 Exploring response potentials
The first thing to do with obtained data is to get the idea of what responses they invoke. Here is a visualization for summary to show that response potentials are varied and fairly complex.
3.2 Correspondence Analysis by ca package
It is obvious that response potentials belong to certain classes, thereby suggesting the existence of their typology.
Their properties can be analyzed using multivariate analyses like Correspondence Analysis (CA), Principal Component Analysis (PCA), Clustering (hierarchical or not). I present the results of CA below using ca package for R. FactoMineR would be another choice.
A nice thing about CA is that it takes raw counts (frequency data) and returned scaled analysis. This means that it dispenses with laborious steps in data normalization, for good or bad. So, it should be a good friend with researchers in humanities.
3.2.1 Dimensions 1 and 2
For Correspondence Analysis, we use the following frequency matrix.
head(resp)## r[0,1) r[1,2) r[2,3) r[3,∞)
## s001 4 64 52 76
## s002 6 66 45 73
## s003 22 67 56 43
## s004 14 73 61 37
## s005 151 26 6 2
## s006 10 57 57 73
This result reveals that i) r[0,1) and r[2,3) are nearly opposites, and Dimension 1 corresponds to this axis; ii) r[1,2) and r[3,∞] have compoments on the opposite directions, though their correlation is weak, and r[1,2) is on Dimension 2.
3.2.2 Dimensions 1 and 3
3.2.3 Dimensions 2 and 3
3.3 A sample layered analysis: Does gender difference affect acceptability? And if it does, how much?
Are there any gender differences in response potetials? Many people claim so, but it’s not clear how much. So, let’s check it out.
Forget about distributed.barplo2t(..) and gendered.tables, for the moment, which are a custom R function and an R object, respectively.
The visualization above is helpful, but is not enough. We also need to run tests for statistical significance to see if any suggested differences are significant: chi square test and Fishers’ exact test are good candidates.
This is a layered analysis for gender. The same kind of analyses can be done for other factors such as age, lived place, and so on, thanks to social attributes collected in this survey.
4 Conclusion
Discussion about “acceptability” is highly political, or overwhelmingly confused, to say the least. Some would muse it philosophical.
Some people erroneously equate acceptability with “grammaticality”, which is a total hype. Some other people claim it is not important at all, which is another total hype. Such a undesirable situation has remained so long simply because there was no empirical data that makes us decide what way to see it is the best. Quite typically, evidence is a nickname of anecdote in linguistics.
I hope this data to be released publicly make itself a foundation for “Evidence-based Linguistics” in the same sense as “Evidence-based Medicine” (黒田 2015).
5 Acknowledgements
This research was supported during 2017-2019 by Japan Society for the Promotion of Science (JSPS) under Grant-in-Aid for Scientific Research (16K13223).
References
Kuroda, Kow, Hikaru Yokono, Keiga Abe, Tomoyuki Tsuchiya, Yoshihiko Asao, Yuichiro Kobayashi, Toshiyuki Kanamaru, and Takumi Tagawa. 2018. “Development of Acceptability Rating Data of Japanese (ARDJ): An Initial Report.” In Proceedings of the 24th Annual Meeting of the Association for Natural Language Processing, 65–68.
———. 2019. “Insights from a Large Scale Web Survey for Acceptability Rating Data for Japanese (Ardj) Project.” In Proceedings of the 25th Annual Meeting for the Association of Natural Language Processing, 253–56.
黒田, 航. 2015. “証拠に基づく医療 (EBM) との比較を通じて理論言語学の方法論を見直す.” In 第16回日本認知言語学会発表予稿集.
———. 2018. “意味の社会性を意識した動詞の分類とその理論的含意.” In 認知科学会第35回大会発表論文集, 602–11.
黒田, 航, 浅尾仁彦, 金丸敏幸, 小林雄一郎, 田川拓海, 横野光, 土屋智行, and 阿部慶賀. 2017. “言語学は事例をどう扱っているのか？: 見本抽出から明らかになった扱い方の (意外な) 片寄り.” In 言語処理学会23回大会発表論文集, 458–61.
黒田, 航, 阿部慶賀, 横野光, 田川拓海, 小林雄一郎, 金丸敏幸, 土屋智行, and 浅尾仁彦. 2016. “(言語学者による) 容認度評定の認証システムを試作する構想: 入念に設計された日本語文の容認度評定データベースに基づいて.” In 日本認知科学会第33回大会発表論文集, 557–62. 日本認知科学会.